Khi Đặng Tiểu Bình dần giành lại quyền kiểm soát Đảng Cộng sản Trung Quốc, đối thủ của Đặng là Hoa Quốc Phong bị thay thế bởi Triệu Tử Dương trong chức vụ Thủ tướng Quốc vụ viện năm 1980, và bởi Hồ Diệu Bang trong chức vụ Chủ tịch Đảng năm 1981. Năm 1980, Hồ Diệu Bang được giữ chức Tổng Bí thư Đảng Cộng sản Trung Quốc, nhưng cho tới giữa thập niên 1990, Đặng Tiểu Bình vẫn nắm quyền quyết định tối cao, vì Đặng giữ lại chức Chủ tịch Quân uỷ Trung ương của Đảng Cộng sản.

Trong nhiệm kỳ của mình, Hồ Diệu Bang đã tìm cách khôi phục danh dự cho những người từng bị ngược đãi thời Cách mạng Văn hóa. Nhiều người Trung Quốc cho rằng đó là thành tựu quan trọng nhất của ông. Ông cũng ủng hộ một chính sách thực dụng tại Tây Tạng, ra lệnh rút hàng nghìn cán bộ người Hán khỏi Khu tự trị Tây Tạng sau một chuyến viếng thăm tới đây năm 1980, tin rằng người Tây Tạng có đủ sức tự điều hành các công việc của mình.

Dù Hồ Diệu Bang là một nhà cải cách tận tụy và là một trong những đồng minh quan trọng nhất của Đặng Tiểu Bình, sau này ông đã bị buộc phải từ chức Tổng bí thư Đảng Cộng sản Trung Quốc năm 1987; chính thức ngày 16 tháng 1. Ông bị buộc tội đã phạm "những sai lầm trong các vấn đề liên quan tới những nguyên tắc chính trị quan trọng". Đặng Tiểu Bình buộc Hồ Diệu Bang từ chức trong bối cảnh hàng loạt những vụ biểu tình của sinh viên hồi cuối năm 1986, mà những người trong phái cứng rắn cho là hậu quả của chính sách khoan dung và có lẽ cả thái độ thông cảm của ông với giới trí thức mang tư tưởng tự do của Trung Quốc, những người đang yêu cầu đẩy mạnh hơn nữa tự do chính trị và cải cách. Ông cũng bị buộc tội "có những sai lầm trong các mối quan hệ Trung-Nhật".